这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。
translated by 谷歌翻译
组织依靠机器学习工程师（MLE）来操作ML，即部署和维护生产中的ML管道。操作ML或MLOP的过程包括（i）数据收集和标记的连续循环，（ii）实验以改善ML性能，（iii）在多阶段部署过程中评估，以及（iv）监视（iv）性能下降。当一起考虑这些责任似乎令人震惊 - 任何人如何进行MLOP，没有解决的挑战，对工具制造商有什么影响？我们对在包括聊天机器人，自动驾驶汽车和金融在内的许多应用程序中工作的18个MLE进行了半结构化的民族志访谈。我们的访谈暴露了三个变量，这些变量控制了生产ML部署的成功：速度，验证和版本。我们总结了成功实验，部署和维持生产绩效的共同实践。最后，我们讨论了受访者的痛点和反图案，对工具设计产生了影响。
translated by 谷歌翻译
反向工程从其他表示形式进行的CAD形状是许多下游应用程序的重要几何处理步骤。在这项工作中，我们介绍了一种新型的神经网络体系结构，以解决这项具有挑战性的任务，并使用可编辑，受约束的棱镜CAD模型近似平滑的签名距离函数。在训练过程中，我们的方法通过将形状分解为一系列2D轮廓图像和1D包膜函数来重建体素空间中的输入几何形状。然后可以以不同的方式重新组合这些，以允许定义几何损失函数。在推断期间，我们通过首先搜索2D约束草图的数据库来获取CAD数据，以找到近似配置文件图像的曲线，然后将它们挤出并使用布尔操作来构建最终的CAD模型。我们的方法比其他方法更接近目标形状，并输出与现有CAD软件兼容的高度可编辑的约束参数草图。
translated by 谷歌翻译
给定部分微分方程（PDE），面向目标的误差估计使我们能够了解诊断数量的兴趣数量（QOI）或目标的错误如何发生并积累在数值近似中，例如使用有限元方法。通过将误差估计分解为来自各个元素的贡献，可以制定适应方法，该方法可以修改网格，以最大程度地减少所得QOI误差的目的。但是，标准误差估计公式涉及真实的伴随解决方案，这在实践中是未知的。因此，通常的做法是用“富集”的近似值（例如，在更高的空间或精制的网格上）近似。这样做通常会导致计算成本的显着增加，这可能是损害（面向目标）自适应模拟的竞争力的瓶颈。本文的核心思想是通过选择性更换昂贵的误差估计步骤，并使用适当的配置和训练的神经网络开发“数据驱动”目标的网格适应方法。这样，甚至可以在不构造富集空间的情况下获得误差估计器。此处采用了逐元构造，该元素构造与网格几何相关的各种参数的局部值和基础问题物理物理作为输入，并且对误差估计器的相应贡献作为输出。我们证明，这种方法能够以降低的计算成本获得相同的准确性，对于与潮汐涡轮机周围流动相关的自适应网格测试用例，这些测试用例是通过其下游唤醒相互作用的，以及农场的整体功率输出作为将其视为QOI。此外，我们证明了元素元素方法意味着培训成本相当低。
translated by 谷歌翻译
近年来，深度学习（DL）方法的流行程度急剧增加，并且在生物医学科学中的监督学习问题中的应用显着增长。但是，现代生物医学数据集中缺失数据的较高流行率和复杂性对DL方法提出了重大挑战。在这里，我们在深入学习的广义线性模型的背景下，对缺失数据进行了正式处理，这是一种监督的DL架构，用于回归和分类问题。我们提出了一种新的体系结构，即\ textit {dlglm}，这是第一个能够在训练时在输入功能和响应中灵活地说明忽略和不可忽视的缺失模式之一。我们通过统计模拟证明，我们的方法在没有随机（MNAR）缺失的情况下胜过现有的监督学习任务方法。我们从UCI机器学习存储库中对银行营销数据集进行了案例研究，在该数据集中我们预测客户是否基于电话调查数据订阅了产品。
translated by 谷歌翻译
手机等边缘设备上的微调模型将对敏感数据实现隐私的个性化。但是，在历史上，Edge训练仅限于具有简单体系结构的相对较小的模型，因为训练既是记忆力和能量密集型的。我们提出了诗人，这是一种算法，可以在存储器筛分的边缘设备上训练大型神经网络。诗人共同优化了重新布置和分页的综合搜索搜索空间，这两种算法可减少返回传播的记忆消耗。鉴于记忆预算和运行时间的限制，我们制定了一项混合成员线性计划（MILP），以进行最佳培训。我们的方法使培训能够在嵌入式设备上显着更大的模型，同时减少能源消耗，同时不修改反向传播的数学正确性。我们证明，可以在皮质类嵌入式设备的内存约束中微调RESNET-18和BERT，同时在能源效率方面的当前边缘训练方法的表现。诗人是一个开源项目，网址为https://github.com/shishirpatil/poet
translated by 谷歌翻译
我们提出了Kkexgen，这是一种用于计算机辅助设计（CAD）构造序列的新型自回旋生成模型，其中包含草图和伸出的建模操作。我们的模型利用不同的变压器体系结构编码构造序列的拓扑，几何和挤压变化为分离的代码簿。自回归变压器解码器生成CAD构造序列，共享代码簿向量指定的某些属性。广泛的实验表明，我们的删除代码书表示会生成多样化和高质量的CAD模型，增强用户控制，并有效地探索设计空间。该代码可在https://samxuxiang.github.io/skexgen上找到。
translated by 谷歌翻译
高斯过程（GP）回归是一种灵活的，非参数回归的方法，自然量化不确定性。在许多应用中，响应和协变量的数量均大，目标是选择与响应相关的协变量。在这种情况下，我们提出了一种新颖的可扩展算法，即创建的VGPR，该算法基于Vecchia GP近似，优化了受惩罚的GP log-logikelihiens，这是空间统计的有序条件近似，这意味着精确矩阵的稀疏cholesky因子。我们将正则路径从强度惩罚到弱惩罚，依次添加基于对数似然梯度的候选协变量，并通过新的二次约束坐标下降算法取消了无关的协变量。我们提出了基于Vecchia的迷你批次亚采样，该子采样提供了无偏的梯度估计器。最终的过程可扩展到数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有方法，可伸缩性和准确性的提高。
translated by 谷歌翻译
物理产品通常是复杂的组件，组合计算机辅助设计（CAD）软件中建模的多个3D零件。CAD Designers通过使用称为关节的约束对齐各个部件来构建这些程序集。在本文中，我们介绍了可连接，一种基于学习的方法，可以将部件组合在一起以形成关节。可加入使用标准参数CAD文件中提供的弱监管，而无需对象类标签或人类指导。我们的研究结果表明，通过对实体模型的图表表示进行网络预测，我们可以优于多种基线方法，精度（79.53％）接近人类性能（80％）。最后，为了支持未来的研究，我们释放了Fusion 360 Gallery集合数据集，其中包含了具有关于关节，接触表面，孔和底层装配图结构的丰富信息的程序集。
translated by 谷歌翻译
在神经形态计算中，人工突触提供了一种基于来自神经元的输入来设置的多重导电状态，类似于大脑。可能需要超出多重权重的突触的附加属性，并且可以取决于应用程序，需要需要从相同材料生成不同的突触行为。这里，我们基于使用磁隧道结和磁畴壁的磁性材料测量人造突触。通过在单个磁隧道结下面的畴壁轨道中制造光刻槽口，我们实现了4-5个稳定的电阻状态，可以使用自旋轨道扭矩电气可重复控制。我们分析几何形状对突触行为的影响，表明梯形装置具有高可控性的不对称性重量，而直线装置具有较高的随机性，但具有稳定的电阻水平。设备数据被输入到神经形态计算模拟器中以显示特定于应用程序突触函数的有用性。实施应用于流式的时尚 - MNIST数据的人工神经网络，我们表明梯形磁突出可以用作高效在线学习的元塑功能。为CiFar-100图像识别实施卷积神经网络，我们表明直流突触由于其电阻水平的稳定性而达到近乎理想的推理精度。这项工作显示多重磁突触是神经形态计算的可行技术，并为新兴人工突触技术提供设计指南。
translated by 谷歌翻译